The Fusion Tax: A Diagnostic Analysis of When Hybrid Retrieval Hurts
混合检索的融合税:稀疏-稠密融合何时有害的诊断分析
🧭 混合检索 · sparse-dense 融合诊断 ★ 深度解读
Independent Researcher, Bothell, WA, USA · Independent Researcher, Issaquah, WA, USA
系统量化 BM25+密集检索融合在单查询上的损失,发现即便平均提升,13-48%查询反受损
📌 工作参考价值(4 点)
- 不要默认 RRF:若目标 domain 的 dense 检索明显强于 BM25,用 dense-heavy score interpolation(α=0.6-0.7)比 RRF 更稳;RRF 只在两路强度接近时更合适。
- 上线前做 per-query fusion 损益审计:统计比单独 dense 差的 query 占比(该论文 8-21%),尤其对风险敏感的商品搜索/广告召回;不要只看平均 nDCG。
- 不要依赖便宜 query 特征做跨 domain 路由:同一特征在不同 sparse-dense 平衡下方向会翻转,跨 dataset AUC 仅 0.59,路由收益不可靠;可考虑更重的 LLM judge 或在线评估。
- 排序第二级 reranker 不一定能修复第一级融合损失:先在目标域确认 reranker 可靠性;若 reranker 可靠,约 71-90% 原受损 query 被修复但会引入新 hurt query,需持续监控。